PI^TT WBLTORGANISATION FOR GEISTIGES EIOENTUM ^fe?JS7 

X Internationales Btiro -iQa&r 

INTERNATIONALE ANMELDUNG VEROFFENTLICHT NACH DEM VERTRAG tlBER DIE 
INTERNATIONALE ZUSAMMEN ARBEIT ALT DEM GEBIET DES PATENTWESENS (PCT) 



(51) Internationale Patentklassifikf 
G06K 9/66, G07C 9/00 



(11) Internationale Veroffentlichungsnummer: WO 98/50880 

12. November 1998 (12.11.98) 



PCT/DE98/01051 
14. April 1998 (14.04.98) 



(fiir alle Bestimmungsstaaten ausser US): SIEMENS 
AKTTENGESELLSCHAFT [DE/DE]; Wittelsbacherplatz 2, 
D-80333 Munchen (DE). 



(81) Bestimmungsstaaten: US, europaiscb.es Patent (AT, BE, CH, 
CY, DE, DK, ES, FI, FR, GB, GR, IE, IT, LU, MC, NL, 
PT, SE). 



VeroffentMcht 

Mil internationalem Recherchenbericht. 

Vor Ablaufder JUr Anderungen der Anspriiche zugelassenen 

Frist; Veroffentlichung wird wiederholt falls Anderungen 



(54) Title: COMPUTER-CONTROLLED ADAPTATION OF REFERENCE DATA BY MEANS OF INPUT DATA 

Bezeichnung: VERFAHREN ZUR ANPASSUNG EINES REFERENZDATENSATZES ANHAND MINDESTENS : 
EINGABEDATENSATZES DURCH EINEN F 

(57) Abstract 



n pertains to a method for preventing denial 
increase within the context of signature authenticaion as a result 
of changes occurring naturally in the signature of an individual. 
The "natural" changes appearing in a signature are adapted to a 
reference signature, a deviation from any bogus signature being 
duly kept to prevent adaptation from getting too close to a possible 
counterfeiter. To this end, the signature is assessed taking into 
account such a deviation from the reference signature, and the 
assessment measurements are divided into areas which reflect 
the signature quality, depending on which an adaptation of the 
signature will be deemed necessary or not 

(57) Zusammenfassung 

Mit dem Verfahren wird gewahrleistet, daB sich natOrliche 
Veranderungen in der Unterschrift einer Person, im Rahmen einer 
Authentisierung dieser Person durch ihre Unterschrift, nicht in 
Form steigender Zuruckweisungen niederschlagen. "Naturliche" 
Veranderungen in der Unterschrift der Person werden an eine 
Referenzunterschrift angepaBt, wobei ein gebuhrender "Abstand" 
i einer mSglichen gefiUschten Unterschrift eingehalten wird, 
n nicht in Richtung eines potentiellen FSlschers zu adaptieren. 
Dazu wird die Unterschrift abhahgig von ihrem Abstand zur Ref- 
erenzunterschrift bewertet und dieses BewertungsmaB in Bereiche 
aufgeteilt, die die Qualitat der Unterschrift reflektieren. Es wird 
ausgehend von der GUte eine Beurteilung mOglich, ob eine Adap- 
" n durchgefuhrt wird oder nicht 




»ISOOCIO: <WO 9850880A1_L> 



LEDIGLICH ZVR INFORMATION 

Codes zur Identifizierung von PCT-Vcrtragsstaaten auf den Kopfbdgen der Schriften, die Internationale Anmeldungen ge 
PCT verdffentlicben. 




WO 98/50880 



PCT/DE98/01051 



1 

Beschreibung 

Verfahren zur Anpassung eines Referenzdatensatzes anhand 
mindestens eines Eingabedatensatzes durch einen Rechner 

5 

Die Erfindung betrifft ein Verfahren zur Anpassung eines 
Referenzdatensatzes anhand mindestens eines 
Eingabedatensatzes durch einen Rechner. 

10 Bekannte Verfahren zur Verifikation des Teilnehmers, z.B. 
durch Eingabe eines Pafiworts Oder mittels einer Chipkarte, 
beruhen darauf , dafi der Teilnehmer uber nur ihm bekanntes 
Wissen verfiigt (Pafiwort) oder nur er das entsprechende Medium 
fur die Gewahrung des Zugangs (Chipkarte) besitzt. 

15 

Alternativ dazu bedient sich die Biometrie einer 
physiologischen oder einer vernal tens typischen 
Eigentumlichkeit des Teilnehmers bei der automatischen 
Identitatsverif ikation oder generell zur Authentif ikation. 

20 

Physiologische Verfahren bedienen sich dabei menschlicher 
Eigentumlichkeit, die sich im Normalfall nicht oder nur wenig 
andert. Entsprechende Merkmale weisen die Vorteile auf, daS 
sie nicht gestohlen und nur mit groJSer Muhe kopiert werden 
25 konnen. 

Eine Unterschriftsverif ikation ist ein biometrisches 
Verfahren. Dabei wird eine in einen Rechner eingegebene 
Unterschrift verarbeitet, unabhangig vom Textinhalt, mit dem 
30 Ziel, die Authentizitat des Schreibers entweder zu bestatigen 
oder zu verneinen. 

Aus [1] ist bekannt, eine Unterschrift mittels eines 
elektromagnetischen Tabletts in elektronischer Form zu 
35 erhalten. Eine derartige (elektronische) Unterschrift umfafit 
mehrere KenngroSen, z.B. Koordinateninf ormation, Druck und 
Geschwindigkeit jeweils zu diskreten Abtastzeitpunkten. 
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Eine Verifikation eines Eingabedatensatzes beruht auf einem 
Vergleich mit einem Ref erenzdatensatz . Im Fall einer 
Unterschrif tsverifikation handelt es sich bei dem 
Ref erenzdatensatz um eine elektronische Unterschrif t, im 
weiteren als "Ref erenzunterschrif t" bezeichnet; der 
Eingabedatensatz ist eine aktuell angef orderte, 
beispielsweise mittels eines elektronischen Tabletts 
eingegebene Unterschrif t . 

Es ist allgemein bekannt, da£ von Hand geschriebene 
Unterschrif ten derselben Person einander nicht exakt 
gleichen. AuBerdem konnen sich wesentliche Merkmale der 
Unterschrif t einer Person mit der Zeit andern. 

Aus [2] ist ein Verfahren zur Ref erenzdatenadaption bekannt. 
Allerdings ist dabei eine Gefahr der Falscheradaption hoch. 

Die Aufgabe der Erfindung besteht darin, Ref erenzdaten, die 
uber die Zeit einer Veranderung unterliegen, automatisch 
dieser Veranderung anzupassen ohne dabei einer 
Falscheradaption zu unterliegen. 

Diese Aufgabe wird gemaS den Merkmalen des Patentanspruchs 1 
geldst. 

Die Erfindung gibt ein Verfahren zur Anpassung eines 
Ref erenzdatensatzes anhand mindestens eines 

Eingabedatensatzes durch einen Rechner an. Dazu wird zun&chst 
fur den mindestens einen Eingabedatensatz ein BewertungsmaB 
bestimmt, das eine Ubereinstimmung mit dem einen 
Ref erenzdatensatz kennzeichnet . Wenn das BewertungsmaB 
innerhalb eines vorgegebenen ersten Bereichs liegt, wird der 
Eingabedatensatz in einen Puf f erspeicher eingetragen und ein 
neuer Ref erenzdatensatz ermittelt. Liegt das BewertungsmaB 
innerhalb eines vorgegebenen zweiten Bereichs, so wird ein 
nachster Ref erenzdatensatz aus den Datensatzen des 
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Puf f erspeichers ermittelt. 1st der nachste Ref erenzdatensatz 
"besser" als der (alte) Ref erenzdatensatz , so wird der 
nachste Ref erenzdatensatz anstelle des (alten) 
Referenzdatensatzes verwendet. 1st der nachste 
Ref erenzdatensatz hingegen "schlechter" als der (alte) 
Ref erenzdatensatz , so wird der nachste Ref erenzdatensatz 
verworfen. Liegt das BewertungsmaE innerhalb eines dritten 
Bereichs, so bleibt der Ref erenzdatensatz unverandert 
bestehen. 

Dabei ist ein erster Datensatz "besser" als ein zweiter 
Datensatz, wenn ein durch ein BewertungsmaE definierter 
Abstand des ersten Datensatzes zu dem Ref erenzdatensatz 
kiirzer (also besser mit dem Ref erenzdatensatz ubereinstimmt) 
als der Abstand von dem zweiten Datensatz zu dem 
Ref erenzdatensatz ist. Analog dazu ist dann der zweite 
Datensatz "schlechter" als der erste Datensatz. 

Vorzugsweise wird der Ref erenzdatensatz bestimmt, indem 
vorgebbare KenngroEen einer vorgebbaren Anzahl an Datensatzen 
gemittelt werden. Dabei gibt es, wie aus [1] bekannt ist, zu 
jedem Abtastzeitpunkt einen Datensatz (Vektor) , der die 
KenngroEen fur diesen Abtastzeitpunkt enthalt . Unter 
Beriicksichtigung aller oder eines Teils dieser Kenngrofien 
wird ein Ref erenzdatensatz durch Mittelung der Werte 
ermittelt . 

Dazu alternativ kann der Ref erenzdatensatz aus einer Menge 
von Originaldatensatzen, also Datensatzen, bei denen 
sichergestellt ist, daE sie vom autorisierten Teilnehmer 
stammen, ausgewahlt werden, der in dem durch die KenngroEen 
bestimmten Merkmalsraum die beste Beschreibung der 
Originaldatensatze darstellt . 

Diese beiden Moglichkeiten sind ohne Einschrankung lediglich 
zwei Alternativen zur Ref erenzdatensatzbest immuna . Es sind 
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vielerlei andere Moglichkeiten denkbar, die in der Erfindung 
ebenso Verwendung finden konnen. 

Eine Weiterbildung des Puf f erspeichers ist ein Ringpuffer, 
der eine vorgebbare Anzahl an Datensatzen enthalt. Ein 
Ringpuffer zeichnet sich dadurch aus, da£ darin der alteste 
Datensatz geloscht wird, sobald ein neuer Datensatz 
hinzugefiigt wird. Dies gilt naturlich unter der. 
Voraussetzung, da£ der Ringpuffer voll ist, da ansonsten der 
neue Datensatz einfach hinzugefiigt wird. 

Eine nachste Weiterbildung der Erfindung besteht darin, den 
Eingabedatensatz als einen Originaldatensatz zu verif izieren, 
falls das BewertungsmaS innerhalb des ersten Bereichs Oder 
des zweiten Bereichs liegt . Liegt das Bewertungsmafi fur den 
Eingabedatensatz aufierhalb des ersten oder des zweiten 
Bereichs, so ist eine Verif ikation des Eingabedatensatzes zu 
verneinen; der Eingabedatensatz wird als eine Falschung 
betrachtet . 

Eine andere Weiterbildung besteht darin, da£ 
Originaldatensatze gemafc einer Wahrscheinlichkeitsverteilung 
beschrieben werden. Eine derartige 

Wahrscheinlichkeitsverteilung kann eine Normalverteilung mit 
einem Erwartungswert und einer Standardabweichung sein. 

Ferner ist im Rahmen einer zusatzlichen Weiterbildung der 
Ref erenzdatensatz durch den Erwartungswert der 
Originaldatensatze bestimmt. 

SchlieElich kann eine Unterteilung der einzelnen Bereiche 
durch folgende Notation bestimmt sein: 

Erster Bereich: BEW e [o ; n + a x • a] , 



Zweiter Bereich: 



BEW e [n + a x • a ; \i + a 2 ■ a] , 
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Dritter Bereich: BEW e [n + a 2 • a; °o] , 
wobei 

BEW das BewertungsmaE, 

M den Erwartungswert , 

a die Standardabweichung, 

a x einen vorgebbarer Parameter, mit dem eine obere 
Schranke des ersten Bereichs bestimmt wird, 

a 2 einen vorgebbaren Parameter, mit dem eine obere 
Schranke des zweiten Bereichs bestimmt wird, 
bezeichnen. 

Auch ist es mdglich zusatzlich den Wertebereich des 
BerwertungsmaEes in einen vierten Bereich zu unterteilen, der 
zwischen dem zweiten und dem dritten Bereich liegt und 
mittels vorgebbarer Schwellen bestimmt ist. In diesem Bereich 
kdnnen Originaldatensatze liegen, die als solche erkannt 
werden, ohne da£ der Ref erenzdatensatz verandert wird. 

Im Rahmen einer Anwendung der Erfindung kann es sich bei den 
erwahnten Datensatzen um Unterschrif ten handeln, die 
elektronisch aufgenommen und abgespeichert werden und die 
eine vorgebbare Menge von Kenngrofien umfassen (siehe auch 
Beschreibungseinleitung) . 

Weiterbildungen der Erfindung ergeben sich auch aus den 
abhangigen Anspruchen. 

Ausfiihrungsbeispiele der Erfindung werden nachfolgend anhand 
der Zeichnungen dargestellt und erlautert. 
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Fig.l ein Blockdiagramm, das Schritte eines Verfahrens zur 
Anpassung mindestens eines Ref erenzdatensatzes anhand 
mindestens eines Eingabedatensatzes enthalt, 
5 Fig. 2 eine Skizze, die unterschiedliche Bereiche in einem 
Bewertungsraum zur Verifikation einer Unterschrift 
zeigt , 

Fig. 3 eine Skizze, die aufbauend auf Fig. 2 einen 

zusatzlichen Bereich innerhalb des Bewertungsraums 
10 zeigt. 

Nachfolgend wird ein Ausfuhrungsbeispiel , das sich mit der 
Anwendung "Unterschrif tsverifikation" befaEt, dargestellt. 

15 Bevor ein Teilnehmer mittels seiner Unterschrift elektronisch 
verif iziert werden kann, wird aus einer Reihe von 
Unterschrif ten eine Ref erenzunterschrif t (Ref erenzdatensatz) 
ermittelt. Dies geschieht durch eines der oben erwahnten 
Verfahren zur Ref erenzdatensatzbestimmung . Dabei wird aus 

20 mehreren geleisteten Unterschrif ten, die nachweislich vom 

Teilnehmer selbst statnmen (authentische Unterschrif ten) , eine 
Ref erenzunterschrif t ermittelt. 

Die mittels Ref erenzdatensatzbestimmung eingangs gefundene 
25 Ref erenzunterschrif t basiert auf den Originaldatensatzen, die 
der Teilnehmer zum Anlegen des Ref erenzdatensatzes gemacht 
hat. Diese Originaldatensatze (Unterschrif ten) sind sich 
ahnlicher als eine Unterschrift, die zu einem spateren 
Zeitpunkt von diesem Teilnehmer abgegeben wird. Weiterhin 
30 unterliegt eine Unterschrift einer langf ristigen Veranderung 
bedingt durch das Schreibverhalten des Teilnehmers. 
Demzufolge wird ein authentischer Teilnehmer, wenn sich seine 
Unterschrift beispielsweise uber Jahre verandert hat, mit 
einer wachsenden Zuriickweisungsrate rechnen miissen, bis er 
35 schliefilich von dem System eines Tages uberhaupt nicht mehr 
als autorisierter Teilnehmer erkannt wird, falls keine wie in 
dieser Erfindung beschriebene Anpassung an die "naturliche" 
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Veranderung in der Unterschrif t des Teilnehmers stattgef unden 
hat. 

Die Losung besteht, wie oben erwahnt, darin, da£ einer 
schleichenden Veranderung der Unterschrift durch Anpassung 
der Referenzunterschrift begegnet wird. Dabei entsteht ein 
Problem der Falscheradaption, d.h. es mufi sichergestellt 
sein, dafi eine Anpassung nicht auf die Eigenheiten einer 
Unterschrift eines potentiellen Falschers hin adaptiert wird. 

Die Erfindung stellt ein Verfahren zur Adaption der 
Referenzunterschrift vor, das sicherheitsrelevante Kriterien 
beriicksichtigt und Veranderungen im Unterschrif tsverhal ten 
des Originalteilnehmers kompensiert. 

FIQUR 1; 

In Fig.l werden anhand eines Blockdiagrairans Schritte des ' 
Verfahrens zur Adaption der Referenzunterschrift 

(Referenzdatensatz) dargestellt. Vorausgesetzt wird, da£, wie 
oben ausfuhrlich dargelegt ist, eine Referenzunterschrift aus 
einer Menge von Originaldatensatzen ermittelt wurde 

(Ref erenzdatensatzbestimmung) . 

In einem Schritt la wird ein neuer Eingabedatensatz 
hinzugefugt, d.h. eine Unterschrift wird geleistet und 
elektronisch erf afit . Im Schritt lb wird die elektronische 
Unterschrift bewertet . Hierzu wird mittels eines geeigneten 
Verfahrens ein Abstand zur Referenzunterschrift bestimmt und 
als ein BewertungsmaE BEW gespeichert . Liegt das 
BewertungsmaS BEW in einem ersten Bereich, nachfolgend als 
Aktualisierungsbereich bezeichnet, so wird die Unterschrift 
verifiziert und in einen Puf f erspeicher eingetragen. 

Der Puf f erspeicher ist vorzugsweise ein Ringpuffer, d.h. er 
verfiigt uber eine vorgebbare Anzahl an freien 
Speicherplatzen, wobei, wenn alle Speicherplatze im 
Ringpuffer belegt sind, mit dem Hinzufiigen eines neuen 
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Datensatzes in den Ringpuffer der alteste Datensatz geloscht 
wird. Sind nicht alle Speicherplatze des Ringpuffers belegt, 
so entfallt das Loschen eines Datensatzes, der neue Datensatz 
wird nur in den Ringpuffer eingefugt . 

Ira Schritt le wird die Unterschrif t in den Puf f erspeicher 
eingetragen und der Ref erenzdatensatz angepaSt . Dabei wird 
erreicht, da£ eine Unterschrif t (Eingabedatensatz) , die in 
dem Aktualisierungsbereich, also mit einem vorgebbaren 
Abstand zu einer Falschung, liegt, eine Adaption einleitet. 
"Gute" Unterschriften werden zu einer "nattir lichen" 
Veranderung der Unterschrift des autorisierten Teilnehmers 
herangezogen. Diese Anpassung der Ref erenzunterschrif t wird 
nachfolgend naher erlautert: 

Generell besteht eine Ref erenzunterschrif t aus vielen 
Unterschriften, wobei die Ref erenzunterschrif t eine 
Gewichtung entsprechend der Anzahl der ihr zugrundeliegenden 
Unterschriften enthalt. Wurde eine Ref erenzunterschrif t U ref 
beispielsweise aus 10 Unterschriften gewonnen und koinmt eine 
weitere Unterschrift U hinzu, so findet eine Anpassung zu 
einer neuen Ref erenzunterschrif t U refneu derart statt, da£ 
gilt: 

10 l 

u ref,neu = — U re f + — U (1) . 

Entscheidend dabei ist die Gewichtung der (alten) 
Ref erenzunterschrif t, die der Anzahl (hier 10) der ihr 
zugrundeliegenden Originalunterschrif ten entspricht. Wird 
eine weitere Anpassung der neuen Ref erenzunterschrif t 
u ref,neu in eine weitere Ref erenzunterschrif t U ref neu ' 
vorgenommen mittels einer weiteren Originalunterschrif t U' , 
so gilt analog zu Gleichung (1) : 

u ref,neu' = ~ u ref,neu + ~~T ^ (2) . 
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So setzt sich die Anpassung immer weiter fort, wobei das 
Gewicht der neu hinzukommenden Unterschrif t Uj_' immer weiter 
abnimmt (vergleiche U mit U* ) . Abhilfe schafft hier eine 
Schwelle SW, die eine vorgebbares Mindestgewicht jeder 
hinzulcommenden Unterschrif t U^' gewahrleistet : 

Liegt das BewertungsmaS in einem zweiten Bereich (siehe 
Schritt lc) , fortan als Ref erenzbildungsbereich bezeichnet, 
wird eine nachste Ref erenzunterschrif t gemafi dem Verfahren 
zur Referenzdatensatzbestimmung gebildet (Schritt lg) , wobei 
dazu die Datensatze des Puf f erspeichers verwendet werden, und 
dieser nachste Ref erenzdatensatz mit dem (alten) 
Referenzdatensatz verglichen (Schritt lh) . 1st der nachste 
Ref erenzdatensatz besser als der alte Referenzdatensatz, so 
wird der nachste Referenzdatensatz verwendet, der (alte) 
Referenzdatensatz wird verworfen (Schritt li) . 

1st der nachste Referenzdatensatz nicht besser als der (alte) 
Referenzdatensatz (Schritt lh) , so wird keine weitere 
Anpassung vorgenommen. Der (alte) Referenzdatensatz bleibt 
bestehen. 

Liegt das BewertungsmaS nicht innerhalb des 
Ref erenzbildungsbereichs, so wird im Schritt lk die 
Unterschrif t nicht verifiziert, es findet natvirlich auch 
keinerlei Adaption eines Ref erenzdatensatzes statt . In diesem 
Fall wird der Teilnehmer nicht verifiziert, sei es, da£ er 
eine schlechte Unterschrif t abgegeben hat, oder sei es, da£ 
es sich um eine Falschung handelt. 

Der Vollstandigkeit halber ist in Fig.l ein Endzustand lm 
angegeben, der anzeigt, da& das dargestellte Verfahren dort 
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terminiert. Die verschiedenen Aste im Blockdiagramm von Fig.l 
enden alle in dies em Endzu stand lm. 

FIGUR 2: 

In Fig. 2 sind in einem zweidimensionalen Diagramm eine Anzahl 
der Unterschriften AU auf der Ordinate und das BewertungsmaE 
BEW auf der Abszisse angetragen. Die Originaldatensatze sind 
nach einer Wahrscheinlichkeitsverteilung angenommen 
(Normalverteilung ) . 

Die Verteilung der Originaldatensatze ist bestimmt durch den 
Erwartungswert \l . Die oben beschriebenen drei Bereiche werden 
hier veranschaulicht , wobei gilt: 

erster Bereich = Aktualisierungsbereich AB 

mit BEW e [0; n + cti • a] , 

zweiter Bereich = Ref erenzbildungsbereich RBB 

mit BEW e [fi + • a; a + a 2 • o] , 

dritter Bereich = Falschungsbereich FB 

mit BEW e [\i + a 2 ■ o; . . .] . 

Im Aktualisierungsbereich AB liegende Eingabedaten fuhren zu 
einer Adaption (erneute Ref erenzdatensatzbestimmung) , wahrend 
bei Eingabedaten aus dem Ref erenzbildungsbereich zuerst 
tiberpruft wird, ob dadurch in die "richtige" Richtung, also 
hin zu den Originaldatensatzen und nicht zu den Falschungen 
adaptiert wird, ehe eine Ref erenzdatensatzbestimmung 
initiiert wird. 

Der Aktualisierungsbereich AB dient zum Abfangen langsamer 
Veranderung in der Unterschrift eines autorisierten 
Teilnehmers, wahrend im Ref erenzbildungsbereich RBB starkere 
Schwankungen (Veranderungen) in der Unterschrift 
berucksichtigt werden. Da der Puf f erspeicher nur 
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Unterschrif ten aus dem Aktualisierungsbereichs enthalt, wird 
eine Adaption zum Falscher hin deutlich erschwert . 



Die vorgebbaren Parameter und a 2 werden derart angegeben, 
5 da£ zum einen keine Falschungen in die laufende Adaption 
gelangen (abhangig von a ± ) und zum anderen die 
Gleichf ehlerrate zwischen Originalen und Falschungen 
moglichst klein wird (abhangig von a2) . 



10 FIGUR 3: 

In Fig. 3 wird zusatzlich zu Fig. 2 und den dort eingefuhrten 
Bezeichnungen ein vierter Bereich (Erkennungsbereich EB) 
dargestellt. Bei Unterschrif ten, deren BewertungsmaE in 
diesem Bereich liegt, handelt es sich noch urn 
15 Originalunterschrif ten, es wird aber keine Ref erenzbildung 

evaluiert (wie im Ref erenzbildungsbereich RBB) und auch keine 
Anpassung (wie im Aktualisierungsbereich AB) vorgenommen. Die 
Unterschrif t wird verifiziert, die vorhandene 
Referenzunterschrif t erfahrt keine Veranderung. 



20 
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Im Rahmen dieses Dokuments wurden folgende Ver6f f entlichungen 
zitiert : 

[1] Deutsche Patentschrif t 195 11 470.1-53 

[2] T.K.Worthington, T.J.Chainer, J.D.Williford, 

S . C . Gunderen : IBM Dynamic Signature Verification, 
Computer Society, IFIP 1985, S. 129-154. 
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1. Verfahren zur Anpassung eines Ref erenzdatensatzes anhand 
mindestens eines Eingabedatensatzes durch einen Rechner, 

a) bei dem fur den (mindestens einen) Eingabedatensatz 
ein Bewertungsmafi (BEW) bestimmt wird hinsichtlich 
einer Ubereinstimmung mit dem mindestens einen 

Ref erenzdatensatz , 

b) bei dem, wenn das BewertungsmaS (BEW) innerhalb eines 
vorgegebenen ersten Bereichs (AB) liegt, der 
Eingabedatensatz in einen Puf f erspeicher eingetragen 
wird und ein neuer Ref erenzdatensatz ermittelt wird, 

c) bei dem, wenn das BewertungsmaS (BEW) innerhalb eines 
vorgegebenen zweiten Bereichs (RBB) liegt, ein 
nachster Ref erenzdatensatz aus den Datensatzen aus dem 
Puf f erspeicher ermittelt wird und, 

falls der nachste Ref erenzdatensatz besser als der 
(alte) Ref erenzdatensatz ist, der nachste 
Ref erenzdatensatz verwendet und der (alte) 
Ref erenzdatensatz verworfen wird, 

ansonsten, falls der nachste Ref erenzdatensatz 
schlechter als der (alte) Ref erenzdatensatz ist, wird 
der nachste Ref erenzdatensatz verworfen, 

d) bei dem ansonsten der Ref erenzdatensatz nicht 
verandert wird. 

2 . Verfahren nach Anspruch 1 , 

bei dem der Ref erenzdatensatz bestimmt wird, indem 
vorgebbare KenngroSen einer vorgebbaren Anzahl von 
Datensatzen gemittelt werden. 

3. Verfahren nach Anspruch 1, 

bei dem der Datensatz als Ref erenzdatensatz aus einer 
vorgebbaren Anzahl Datensatze ausgewahlt wird, dessen 
Kenngrofien die ausgewahlten Datensatze am besten 
beschreiben. 
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Verfahren nach einem der Anspruche 1 bis 3, 

bei dem der Puf f erspeicher ein Ringpuffer mit einer 

vorgebbaren Anzahl Datensatze ist. 

Verfahren nach einem der Anspruche 1 bis 4, 
bei dem der Eingabedatensatz ein Originaldatensatz ist, 
falls das BewertungsmaE (BEW) innerhalb des ersten oder 
zweiten Bereichs liegt, oder eine Falschung ist, falls 
das Bewertungsmafi (BEW) aufcerhalb des ersten oder zweiten 
Bereichs liegt. 

Verfahren nach einem der vorhergehenden Anspruche, 
bei dem Originaldatensatze nach einer 
Wahrscheinlichkeitsverteilung verteilt sind. 

Verfahren nach Anspruch 6, 

bei dem die Wahrscheinlichkeitsverteilung eine 
Normalverteilung mit einem Erwartungswert und einer 
Standardabweichung ist . 

Verfahren nach Anspruch 7, 

bei dem der Ref erenzdatensatz dem Erwartungswert der 
Originaldatensatze entspricht . 

Verfahren nach Anspruch 7 oder 8, 

bei dem der erste Bereich bestimmt wird durch das 

Intervall 

BEW e [0; n + oci • a] , 
wobei 

BEW das Bewertungsmafi, 

H den Erwartungswert, 

a die Standardabweichung, 

a x einen vorgebbarer Parameter, mit dem eine obere 

Schranke des ersten Bereichs bestimmt wird, 
bezeichnen, 
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und bei dem 

der zweite Bereich bestimmt wird durch das Intervall 

BEW e [11 + ax ■ a ; u + CL2 ■ o) , 

wobei 

ot 2 einen vorgebbaren Parameter, mit dem eine obere 

Schranke des zweiten Bereichs bestimmt wird, 
bezeichnet , 

und bei dem 

ein dritter Bereich bestimmt wird durch das Intervall 
BEW e [u + c*2 • a; <»] , 

wobei der dritte Bereich die Falschungen umfafit. 

10. Verfahren nach einem der Anspruche 1 bis 9, 

bei dem der Eingabedatensatz , der in einem vierten 
Bereich zwischen dem zweiten und dem dritten Bereich mit 
vorgebbaren Schwellwerten liegt, als Originaldatensatz 
erkannt wird, weiterhin der Ref erenenzdatensatz aber 
nicht verandert wird. 

11. Verfahren nach einem der vorhergehenden Anspruche, 
bei dem die Datensatze Unterschrif ten sind, die 
elektronisch aufgenommen und abgespeichert werden und die 
eine vorgebbare Menge von Kenngro&en umfassen. 
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ROBUST FACE REGISTRATION VIA MULTIPLE FACE PROTOTYPES 
SYNTHESIS 

5 FIELD OF THE INVENTION 

The present invention is generally directed towards face recognition and 
face verification systems and in particular towards a facial prototype synthesis 
system able to generate realistic templates and provides a more robust system 
for registering a face. 

10 

BACKGROUND OF THE INVENTION 

The classical face recognition approach is to store an image of a person's 
face, and then to provide a face matching algorithm robust enough to handle 
varying lighting conditions, facial expressions, face directions, glasses, beard, 
1 5 mustache and facial hair, etc. 

In the area of face recognition technology, research has focused almost 
entirely on developing algorithms that are invariant to the lighting conditions, the 
facial expressions and the face direction. Such systems obtain simple databases 
20 at the expense of complex matching algorithms or family of algorithms. 
Alternatively, the face recognition systems based on face template matching and 
neural networks, require a large number of face samples to train the network to 
an acceptable standard. The operations that are applied to train neural networks 
are mainly of linear geometric nature, such as scaling or zooming. 

25 

The problems of these techniques is their weakness in dealing with various 
lighting conditions, changes of expression as well as time difference between the 
registration and the time of the observation. 

30 For example, WO 99/53427 provides a technique for detecting and 

recognizing an object in an image frame. The object identification and recognition 
process uses an image processing technique based on model graphs and bunch 
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graphs that efficiently represent image features as jets. The jets are composed of 
wavelet transforms and are processed at nodes or landmark locations on an 
image corresponding to readily identifiable features. The authors thus propose a 
face representation based on a set of feature points extracted from the face 
5 images. Face recognition is then realised using a deformable graph matching 
technique. 

WO 98/37507 discloses that to automatically recognize the face of a 
person in real time or on the basis of a photo document, a digital image of a side 
10 view of the head is produced and a profile curve determined by linear extraction. 
From the profile curve a strongly reduced quantity of data is generated by 
evaluation algorithms to serve as a model of the person concerned. This allows 
for especially simple biometric face identification requiring minimum memory 
space for the model code. 

15 

In general, attempts to improve face recognition have resulted in various 
methods and algorithms to extract features and compare features with data 
stored on a database. However, various conditions and circumstances can still 
lead to less desirable results, and thus an alternative approach is required to 
20 improve face recognition. 

OBJECT OF THE INVENTION 

It is therefore an object of the invention to develop a more robust system 
that is capable of handling changing conditions such as lighting and facial 
25 orientation. In particular it is an object to provide a more robust registration 
process for such a system. 



It is a further object to provide a face synthesis system that is able to 
generate realistic templates taking into account changing conditions. 

30 
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SUMMARY OF THE INVENTION 

With the above objects in mind the present invention provides in one 
. aspect a face recognition and/or verification system including the step of 

registering a persons actual face wherein an image of the actual face is captured 
5 and synthesized to create a plurality of face prototypes, and wherein the face 

prototypes are stored for later analysis and comparison with a captured image to 

be recognised or verified. 

The face prototypes may represent possible appearances of the actual 
10 face under various lighting conditions, varying facial expressions, varying facial 
orientations, and/or modeling errors. 

In a further aspect the present invention provides a facial prototype 
synthesis system wherein an image of a persons actual face is synthesized to 
1 5 create a plurality of face prototypes, said face prototypes representing possible 
appearances of said actual face under various lighting conditions, varying facial 
expressions, varying facial orientations, and/or modeling errors, and wherein said 
face prototypes are stored for later use. 

20 In the preferred embodiment the system normalises the captured image 

such that the eyes are a fixed distance apart and on a horizontal plane. The 
system may only synthesize the area of the face bounded by the eyebrows and 
mouth on the assumption that other features such as hair do not significantly alter 
for recognition and verification purposes. The synthesis may include 

25 consideration of alternate eye positions and applying masks to account for 
changing conditiors and enors. 

BRIEF DESCRIPTION OF DRAWINGS 

Figure 1 shows the area of the face analysed in the preferred embodiment. 

30 

Figure 2 shows possible eye positions. 
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Figure 3 shows the use of geometric masks. 
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Figure 4 shows the use of optical flow approximations. 
5 Figure 5 shows the use of exponential and logarithmic functions. 

Figure 6 shows an example function for use with a vertical shadow mask. 
Figure 7 shows the use of shadow filters. 

10 

Figure 8 shows an example of manual lighting masks. 

Figure 9 shows an example of registering a user in accordance with the 
preferred embodiment of the present invention. 

15 

DETAILED DESCRIPTION OF PREFERRED EMBODIMENT 

As it can be difficult to achieve accurate face recognition due to factors 
such as changing lighting conditions, the present invention proposes a method or 
system which relies on a more intensive registration process. 

20 

Most existing systems will capture an image of a person, and store that 
image for later comparison. In the present invention, during the registration of a 
person's face, the system automatically synthesizes a multitude of face 
prototypes, by creating artificial lighting conditions, artificial face morphing and by 

25 modeling the errors of a face location system, especially in the eyes detection 
process. These face prototypes represent the possible appearances of the initial 
face under various lighting conditions, various expressions and various face 
orientations, and under various errors of the face location system. The system 
obtains for each face, a set of faces that spans the possible appearances the face 

30 may have. 
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Having generated this multitude of face prototypes, data analysis can be 
applied, like dimensionality reduction (principal components analysis), feature 
extraction, automatic clustering, self-organising map. The design of a face 
recognition system based on these face prototypes can also be achieved. Face 
5 recognition systems based on face templates (pea) and/or feature vectors (gabor 
wavelet) may be applied, and they may also use these face clusters for training. 

Considering now an example and referring to the figures Given an image 
of a person's face and given the position of the two eyes (4, 5), the preferred 

10 system first normalizes the image by setting the two eyes (4, 5) on a horizontal 
plane and at a fixed distance apart, for example 50 pixels. This operation can be 
realized by a change of scale and rotation. Once the normalized image is 
created, the system selects the part of the face that is very stable across time, 
that is the system does not consider the part of the face above the eyebrows and 

1 5 below the mouth 3. That is, the system considers only the part of the face 1 within 
the box 2 shown in figure 1. Alternatively, other face location systems, may 
provide the 'face center', from which an estimate of the eyes position can be 
derived according to human anthropomorphic measures. 

20 Using an existing face location system, it is likely that the eyes* position are 
imprecise. To propose a robust face encoding system, the present system 
assumes an error position of the eyes, and for each couple of eyes' positions, the 
system crops the face accordingly. In practice, the system preferably uses five 
possible positions per eye, leading to 25 cropped images, as illustrated in Figure 

25 2. Of course, this number can be changed. By nature, this technique encodes 
rotation, translation and change of scales, as the scale factor is affected by the 
distance between the two eyes, and the rotation factor is affected by the angle of 
the two eyes with the horizontal line. In Figure 2, the dots 6 are the eyes 
detected by the system and the dots 7 are the other possible eyes' positions 

30 considered for the registration. 
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The circle 8 shows the surface error that describes the probable real 
position of the eye. Any point in this circle could be the real eye center. The ray 
of the surface error is fixed automatically by the system and depends on the 
interocular distance between the calculated position of both eyes. For example, 
5 for 50 pixels eyes distance, we may say that the eye position is precise at -/+5 
pixels. 

On each of these cropped and normalized images, the system applies 
predefined 2D lighting masks and predefined 2D warping or morphing masks and 
10 obtains a multitude of face prototypes that are likely to appear during the face 
location. The system preferably uses three families of lighting masks and 25 
families of warping masks although varying numbers can be used. Any number 
of lighting and warping masks could be used, for example desirable results are 
being obtained using 16 lighting masks. 

15 

The system has two kinds of operations that are applied to an input image 
of a person in order to obtain an output image for storage. Namely, the 
photometric modification and/or the geometric modification of the image. The 
photometric modification changes the grey level or the color of a pixel, and the 
20 geometric modification modifies the position of this pixel. 

The photometric transform can be encoded into the lighting masks and the 
geometric transform can be encoded into the morphing masks. 

25 The geometric masks can be estimated by various ways, such as 

manually, semi-automatic or by optical flow estimation between two images. The 
optical flow estimation is a fully automatic technique exemplified in Figures 3 and 
4. 

30 The first row of Figure 3 has three original images, and the last row shows 

the three generated frontal face images obtained using geometric masks. Here 
the masks are tuned to generate frontal faces. 
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In the same way, the first row of Figure 4 contains five input images, the 
second row contains an approximation of the optical flow between each face and 
its vertical mirror, and the last row contains an approximation of the frontal face, 
5 good enough for a robust face recognition. 

Here, we describe five photometric masks. Any number can be generated, 
but in testing these have proved to be very good for robust face registration, as 
they approximate real lighting conditions. 

10 

These preferred marks are: 

i) Logarithmic function on grey-level; which obtains brighter 
images; 

ii) Exponential stretch on. the function; which obtains darker 
1 5 images; 

iii) Vertical shadow that creates vertical half-shadowed faces; 

iv) Horizontal shadow that creates horizontal half-shadowed 
faces; and 

v) By differentiating images captured from the camera during 
20 the masks settings. 

If we .consider an input image with grey levels ranging from 0 to 1 after a 
standard grey level normalization process of the form (v-vmin)/(vmax-vmin), 
where vmin and vmax are respectively the minimum and maximum grey level 
25 values of the image, then each of the preferred masks may be described as 
follows: 

Logarithmic function 

Let [Kmin, 255] such that 255 > Kmin > 0. The system builds the 
lookup table that contains 256-Kmin entries by computing: 
30 LOGLUTfw] = (log(w) + Kmin) - log(Kmin)) / (log(255)-log(Kmin)), 

Forw = Kmin,. ..255. The lookup table values are all ranging from 0 
to 1. Given the value v of a pixel ranging between 0 and 1, the system 
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obtains the new grey level value w by w = LOGLUT[(255-Kmin)*v + Kmin]; 
w ranges between 0 and 1 and can use other operators. 

Exponential function 

5 The system builds the lookup table that contains 256 entries by 

computering: 

EXPLUTTw] = (exp(Kmax * w/255.0) - 1 ) / (exp(Kmax) - 1 ) 

For w = 0....255. The lookup table values are all ranging from 0 to 1 . 

Given the value v of a pixel ranging between 0 and 1 , the system obtains 
10 the new grey level value w by w = EXPLUT[255*v]; w ranges between 0 

and 1 and we can use other operators. 

Figure 5 shows the input image and the image after applying the 
exponential function with Kmax=4, and the input image and the image after 
1 5 applying the logarithmic function with Kmin=32. The system could generate an 
infinite number of such images by making varying Kmin and Kmax. 

Vertical shadow/ Horizontal shadow 

As the two processes are identical, we describe only the vertical shadow 
20 process for the abscissas x. This function creates a modification of the grey level 
of a pixel depending on its spatial position in the image. Here we apply it line by 
line. An infinite number of functions can be used. For the sake of simplicity, we 
describe one function. Let X be the width of the image, and let 0<X<1 real 
coefficient, and let m=rx. We define the following function f(x), depending on the 
25 value of x e [0,X]: 

F(x) = x / rn if x e [0,m] 

F(x) = 1 + (x-m)/(X - m) if x e [m.X]. 

Such a function can be seen in Figure 6. Here X=200 and A=0.2. For a 
30 given abscissa x, F(x) is a coefficient that varies between [0,2]. 



WO 03/088132 



PCT/SG02/00060 



9 

Given a pixel p=(x,y) with a grey level v, the system obtains in the output 
image a pixel q=(x,y) with a grey level computed w =v*F(x). Thus, the m first 
pixels will become darker, the first one at position 0, totally dark, the mth pixel will 
be unaffected (in Figure 6, the 40 th pixel 200*0.2 = 40), and the pixels at abscissa 
5 greater than m will become brighter. Figure 7 illustrates the process with 5 
different shadow filters, from the left original image. 

The horizontal process applies to the ordinate y, and uses the height of the 
image Y, in exactly the same manner. 

10 

2D masks as combination of two 1 D masks. 

Here we define a mask F such that F(x,y) = Fx(x)*Fy(y). For each pixel 
p=(x,y) with grey level v, we obtain the new grey level w=v*F(x,y). 

1 5 2D masks. 

These masks are a generalization of the previous mono-dimensional 
masks, and a coefficient is defined for each pixel F(x,y). The system then obtains 
a 2D mask that modifies the value v of the pixel p=(x,y), in w = v+F(x,y). These 
masks can be built manually, by capturing several identical images and by 

20 changing the lighting conditions of the room during the image capture. In such a 
case, if we define the neutral image as I, and all the other images as h, l 2 , .... In , 
the system derives N masks by differentiating I with h, l 2 , I N : and we obtain F t 

= Mi, F2=l-l2 F n =I-In. Thus, we modify the value of the pixel p = (x,y), in 

w=v+F(x,y). Figure 8 illustrates a face capture where the light varies to set up 

25 manual lighting masks, by differentiating with the first image. Once again, these 
masks can be normalized between 0 and 1 . 

Filter cascading 

A synthetic prototype can be obtained by applying several masks to the 

30 original normalized image. Let I be the original normalized image, F={Fi,F 2 F N } 

the set of successive masks, and O the obtained synthetic prototype. We have 
0=F N (...F 2 (Fi(l))...). In some specific cases, we may have F N (...F 2 (Fi(l))...) = 
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Fn(...F2(F1))(l) = M(l), leading to a much more efficient computation, as the mask 
M = F N (...F 2 (F 1 )...) can be estimated in advance by a combination of masks. 



Figure 9 illustrates images obtained during the registration of a user. In 
5 this example the preferred system took the 5 leftmost (first column) images to 
register robustly this person, at a resolution of 15x15 pixels. The grey levels 
intensity of each image have been re-normalized between 0 and 255. 

This set of generated faces could be used in any application using faces 
10 as if it was produced online by any camera or video input devices. For example, it 
can be used in face recognition, face verification, face feature extraction, face 
retrieval, video conferencing systems, neural network or auto-associative memory 
training, etc. 

15 By storing multiple possible appearances of the same face, the system 

increases the probability of retrieving the correct face across lighting conditions, 
expressions and face directions. The system therefore compensates for the 
weaknesses of previous methods although does obtain a more complex 
database. 

20 

The system does increase the probability of confusion with another face, 
but experiments have shown that the best match between two identical persons is 
statistically higher than the best match between two different persons. As these 
transforms are applied identically to all the faces, all are penalized or favored in 
25 the same way, which is enough to justify this experimental fact. In other words, it 
is more likely that the registration transforms the face into a future observed face 
of the same person, than it transforms someone else's face into this future 
observed face. 



30 The system extends the representations to non-linear geometric 

transformations and non-linear photometric transformations, to synthesize 
realistic face prototypes. This is equivalent to an expansion of the training set for 
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a better generalization of the neural network. The key of this robust registration is 
to apply allowable transformation to the face image, using face morphing and 
applying synthesized lighting conditions that approach reality. These 
transformations are applied to a face for which the eyes coordinates are already 
5 known. Another key issue is that the registration process considers errors in the 
positioning of the eyes that are due to the eyes detection algorithm. 

Given a face image and the two eyes positions, the present system is able 
to synthesize realistic faces from a single face, to provide a robust registration 
10 which in turn leads to a robust face recognition/verification algorithm. The 
consideration of errors in eyes detection, the synthesize of the lighting effects, as 
well as the face morphing can use pre-registered masks. Their combination 
allows the creation of a multitude of synthetic faces that are likely to be 
encountered during the future face recognition tasks. 

15 

The subsequent face retrieval algorithm can be straightforward, as the 
registration process has undertaken most of the difficulties. 

The invention has been particularly described with reference to face 
20 recognition systems to assist in the understanding of the invention. However, the 
present invention proposes a way to generate artificial and likely face prototypes 
from a single face, by creating artificial light effects, artificial face direction and by 
modeling the localization errors of a face location system, for the purpose of 
robust face feature extraction or robust face registration. That is the present 
25 invention is a facial prototype synthesis system, that generates automatically 
realistic templates from a single image and not merely a face recognition system. 
Lighting conditions masks, warping masks and eyes position errors are used to 
achieve a robust face generation. 

30 Apart from improving face recognition systems the present invention could 

also be used to improve current face recognition and face verification systems, by 
transforming and expanding the existing databases containing the faces of the 
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people, automatically, without recapturing all the photos, under all the face 
directions, all the lighting conditions, all the scales and rotations. 

The present invention therefore proposes a way to generate artificial and 
5 likely face prototypes from a single face, by creating artificial light effects, artificial 
face direction and by modeling the localization errors of a face location system, 
for the purpose of robust face feature extraction or robust face registration. 

Whilst the method and system of the present invention has been 
10 summarised and explained by illustrative example it will be appreciated by those 
skilled in the art that many widely varying embodiments and applications are 
within the teaching and scope of the present invention, and that the examples 
presented herein are by way of illustration only and should not be construed as 
limiting the scope of this invention. 
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CLAIMS: 

1. A face recognition and/or verification system including the step of 
registering a persons actual face wherein an image of said actual face is captured 

5 and synthesized to create a plurality of face prototypes, and wherein said face 
prototypes are stored for later analysis and comparison with a captured image to 
be recognised or verified. 

2. The system as claimed in claim 1 wherein said face prototypes represent 
10 possible appearances of said actual face under various lighting conditions, 

varying facial expressions, varying facial orientations, and/or modeling errors. 

3. The system as claimed in claim 1, wherein comparison of said face 
prototypes and captured image uses a face matching algorithm. 

15 

4. The system as claimed in claim 1, wherein comparison of said face 
prototypes and captured image uses face templates or feature vectors. 

5. The system as claimed in any preceding claim, wherein synthesizing of 
20 said actual face includes normalising said actual face image. 

6. The system as claimed in claim 5, wherein normalising includes rotating 
said actual face image to bring eyes of said actual face image to a horizontal 
plane. 

25 

7. The system as claimed in claim 5 or claim 6, wherein normalising includes 
scaling said actual face image such that the eyes are a fixed distance apart. 

8. The system as claimed in claim 7, wherein said eyes are fixed at 50 pixels 
30 apart. 
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9. The system as claimed in any preceding claim wherein the area above the 
persons eyebrows and below the persons mouth is not synthesized. 

10. The system as claimed in any preceding claim wherein synthesizing of 
5 said actual face includes determining alternative positions for each eye so as to 

compensate for possible errors. 

11. The system as claimed in claim 10, wherein five alternative positions are 
determined for each eye. 

10 

12. The system as claimed in any preceding claim wherein synthesizing of 
said actual face includes applying at least one predefined lighting mask to said 
actual face image. 

15 13. The system as claimed in claim 1 2, wherein three to 1 6 predefined lighting 
masks are used. 

14. The system as claimed in any preceding claim wherein synthesizing of 
said actual face includes applying at least one predefined warping mask to said 

20 actual face image. 

15. The system as claimed in claim 14, wherein 25 predefined warping masks 
are used. 

25 16. The system as claimed in claim 12 or claim 13, wherein said at least one 
lighting mask includes photometric transform. 

17. The system as claimed in claim 14 or claim 15, wherein said at least one 
warping mask includes geometric transform. 

30 

18. The system as claimed in claim 17, wherein said geometric transform is 
estimated using optical flow estimation. 
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19. The system as claimed in claim 16, wherein said photometric transform 
includes at least one of: 

algorithmic function, exponential stretch, vertical shadow, horizontal 
5 shadow and differentiating image. 

20. A facial prototype synthesis system wherein an image of a persons actual 
face is used to create a plurality of face prototypes, said face prototypes 
representing possible appearances of said actual face under various lighting 

10 conditions, varying facial expressions, varying facial orientations, and/or modeling 
errors, and wherein said face prototypes are stored for later use 

21. The system as claimed in claim 20, wherein said actual face image is 
normalized prior to creating said face prototypes. 

15 

22. The system as claimed in daim 21 , wherein normalising includes rotating 
said actual face image to bring eyes of said actual face image to a horizontal 
plane. 

20 23. The system as claimed in claim 21 or claim 22, wherein normalising 
includes scaling said actual face image such that the eyes are a fixed distance 
apart. 

24. The system as claimed in claim 23, wherein said eyes are fixed at 50 
25 pixels apart. 

25. The system as claimed in any one of claims 20 to 24, wherein the area 
above the persons eyebrows and below the persons mouth is not synthesized. 

30 26. The system as claimed in any one of claims 20 to 25, wherein to create 
said face prototypes said system determines alternative positions for each eye so 
as to compensate for possible errors. 



WO 03/088132 



16 



PCT/SG02/00060 



27. The system as claimed in claim 26, wherein five alternative positions are 
determined for each eye. 

5 28. The system as claimed in any one of claims 20 to 27 wherein to create 
said face prototypes said system applies at least one predefined lighting mask to 
said actual face image. 

29. The system as claimed in claim 28, wherein three to 16 predefined lighting 
10 masks are used. 

30. The system as claimed in one of claims 20 to 29 wherein to create said 
face prototypes said system applies at least one predefined warping mask to said 
actual face image. 

15 

31. The system as claimed in claim 30, wherein 25 predefined warping masks 
are used. 

32. The system as claimed in claim 28 or claim 29, wherein said at least one 
20 lighting mask includes photometric transform. 

33. The system as claimed in claim 30 or claim 31 , wherein said at least one 
warping mask includes geometric transform. 

25 34. The system as claimed in claim 33, wherein said geometric transform is 
estimated using optical flow estimation. 

35. The system as claimed in claim 32, wherein said photometric transform 
includes at least one of: 
30 algorithmic function, exponential stretch, vertical shadow, horizontal 

shadow and differentiating image. 
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36. The system as claimed in claim 20, wherein said face prototypes are 
generated by applying photometric and/or geometric transforms to said image. 

37. A facial prototype synthesis system wherein an image of a persons actual 
5 face is normalised and synthesized by determining possible alternative eye 

positions and applying at least one mask to said image to create a plurality of 
face prototypes, and wherein said face prototypes represent possible 
appearances of said actual face under various lighting conditions, varying facial 
expressions, varying facial orientations, and/or modeling errors. 
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